Asymmetric Reality 部分的に異なる現実を共有する
20231207まとめ
部分的に「ずれ」のあるVR
最近考えている研究テーマの進め方がわからず行き詰まっているので、ここに書いてみるblu3mo.icon
なんでもいいので何かしら反応や感想がもらえると喜びます
一般的な現実やVRでは、同じ空間にいる複数人は同じ世界を見るのが普通
ただ、同じVR空間にいる複数人が、それぞれ少し異なる現実を体験するようなケースも考えられる
例：VR空間にて複数人が共同作業する状況を考える。 部屋には積み木とかモニターとかがある
https://gyazo.com/cb55e2121318dfcc91f9958bc57b0c89
一番上に描かれているのが、オリジナルの現実。
ただ、赤/青/緑の人はそれぞれオリジナルとは少し違う、個別にカスタマイズされた現実を見ている
赤の人が見ている世界（左下）：
自分以外の人のアバターとモニターがオリジナルとは異なる位置に置かれている
カスタマイズの意図：自分がモニターを見やすいように配置を変えたかった
青の人が見ている世界（中央下）：
机の上にあるオブジェクトがオリジナルよりも大きくなっている
カスタマイズの意図：オブジェクトの細部を見たかった
緑の人が見ている世界（右下）：
自分以外の人のアバターとモニターが透明になっている
カスタマイズの意図：机の上のオブジェクトに集中したかった
このように、共同作業をしている空間でも、VRなら個別にカスタマイズして異なる現実を体験することができる
ただ、このような現実の個別カスタマイズをすると、現実の「ずれ」によってコミュニケーションに齟齬が生じ始める
「自分が見えているオブジェクトが相手には見えていない」とか「指差しているオブジェクトが相手には違う位置に見えている」とかの問題が起こりうる
それを解決するために、以下の二つの手段が取れる
1. 現実の他の部分を調整して、うまく「ずれ」を吸収する
たとえば指差しているオブジェクトが相手には違う位置に見えているなら、差している指の位置も相手には違う位置に表示すればいい
2. どうしても必要なら、必要な範囲で「ずれ」を取り除く
誰かが特定のオブジェクトについて話している時は、そのオブジェクトが必ず全員に同じ位置に表示される、とか
https://gyazo.com/070efb86e723e6fc7e738628ed3d7f4e
以上のような、①主観的な現実の個別最適化 と ②個別最適化による「ずれ」の吸収 をうまく実装したい
これができれば、従来の「全員が全く同じ現実を体験するような客観的現実のパラダイム」とは異なる形のVR空間を作れる
↑では、オブジェクトやアバターのサイズ・位置・可視性などの「ずれ」について話した
ただ、それ以外にもさまざまな変数の個別最適化とずれの吸収が考えられる
たとえば
「時間」の個別最適化
部屋の明るさの個別最適化
空間の座標系の個別最適化
人の個別最適化
嫌いなやつは視界から消すとか(?)
verbal言語のずれ
翻訳
non-verbal 言語のずれを埋める
-.icon
ただ、こういう仕組みの有用/分かりやすい/面白い具体的なユースケースが思いつかなくて困っている
応用
教育応用
音とか世界のclutter度をそれぞれのユーザーが個別に指定できるようにする
適切にずれに合わせてリマッピングなどをする
とりあえずasymmetric realityという名前をつける
20231207
名前
asymmetricより、personalized realityとかの方がいいかも？
実装
どこか一人のマスター（=客観的現実）を設定するのではなく、それぞれが対等なリアリティを持って主観をすり合わせるような仕組みを作りたい
この論文は物理現実のasymmetryを扱っていて、僕が興味あるのはvirtualな現実のasymmetryを扱っている感じ
人々が部分的に異なる現実を共有するような体験に関心があります
自分から切り離された外側としての客観を前提とせず、主観的な世界を部分的に共有することで間主観的な世界が生じるような現実の設計を考えています
具体的には、食事とか会話内容とか空間とか時間とかでこういう事が言えそう
📦「空間」のなめらかな共有
「空間」のなめらかな共有は、一般的にMRと言わる概念に近いと思う 以下の「MR」の図は、「バーチャル空間」と「物理空間」のなめらかな共有を表している
https://gyazo.com/5fee2500312806d6550d47fd17058db9
この考え方を拡張して、「バーチャル空間A」と「バーチャル空間B」のなめらかな共有も考えられる
例えば、あるVR空間の部屋がAさんには和室に見えていて、Bさんには洋室に見えている
ある物体が、Aさんにはお茶碗が見えているが、Bさんにはティーカップに見えている
みたいな
@_abi_: controlnet's MLSD model is very good at generating interior decor variations! my living room in different styles: https://pbs.twimg.com/media/FpGCNVLaAAQ7DNQ.pnghttps://pbs.twimg.com/media/FpGCNVHaEAACqDk.pnghttps://pbs.twimg.com/media/FpGCNVKacA8YQ8D.pnghttps://pbs.twimg.com/media/FpGCNVJaIAAFiKI.png
@needle: それをVRChat的なオンライン3D空間でやって、ポリゴンや棒人間は共通だけどAI装飾はユーザーそれぞれに任せるとしたら、「同じ空間に複数人のプレイヤーがいるんだけど、Aさんには中世ファンタジー世界に見えていて、Bさんには宇宙SFに見えている」なんて状態さえあり得るぞ！現実は一つじゃない！ こういうイメージblu3mo.icon
おもしろい見方maobushi.icon
🍛「食事体験」のなめらかな共有
シチュエーション
「ご飯が食べれるメタバース」があったとして、Aさんはピザを食べたいけどBさんは中華が食べたいとする
AさんとBさんは二人でご飯に行きたい
このとき、
Aさんの目には「二人でピザをシェアしている」ように見えて、Bさんの目には「二人で中華をシェアしている」ように見えれば、二人ともハッピー
二人は「食べているもの」という現実の要素を共有していない
けど、二人とも「二人でご飯をシェアする」という体験は共有している
これは、Ukemochiの延長線上にありそうだなと思っているblu3mo.icon 💬「会話内容」のなめらかな共有
シチュエーション
二人で会話しているとする
AさんはXという形容詞をよく使いがちだけど、Bさんはその表現が苦手だっただったとする
このとき、
Aさんが発したXという言葉を、Bさんに届く前にフィルターしたり置き換えたりできれば、二人ともハッピー
チャットなりZoomなりでそういう事が実装出来ると思う
シチュエーション
複数人で議論しているとするmaobushi.icon
A,B,C,D,E,Fさんは特定の議題について意見を述べるとする
このとき、
AIが会話の結節点となるタイミングで意見を一旦求める。
AIがそれぞれの意見をもとに、似ている意見の人同士を仮想Room0に入れたり、反対の意見を持つ人同士をRoom1に同期的に部屋を入れ替える
イメージはbranchを議題ごとに生やす
それぞれの仮想roomに割り当てられる体験はそれぞれの参加者からは知覚できないほどスムーズ
イメージはgit checkout がスムーズということ
それぞれの議論がある程度落ち着いたところで、それぞれのbranchをmain branchにmergemaobushi.icon
えー、ParallelTalkですねｺﾚmaobushi.icon
⏰「時間」のなめらかな共有
より複雑になるけど、この具体例が今の自分の一番の推しblu3mo.icon*3
今のほとんどのコミュニケーションは、「同期 = 完全に時間を共有」「非同期 = 全く時間を共有しない」の二元論
その間の連続的なspectrumをいろいろ模索できると思っている
バーチャル時間の探究の関連ページにいろいろ書いてあるblu3mo.iconblu3mo.icon*2 My interests lie in exploring the design of reality within a paradigm different from the traditional understanding of physical reality (= shared objective reality, Euclidian spacetime, etc).
To be more specific, one thing I am interested in is how individuals experiencing distinct subjective realities can interact and collaborate. For instance, in environments like Remixed Reality or asynchronous reality (like this or this), we can consider scenarios where two individuals exist in different moments of 'time'. Or, we could imagine an MR environment where applications are displayed differently to different people in the same room, adapted to each person's context and viewpoint. In these situations, although people share certain aspects of reality, there are distinct differences as well. To bridge the communication, we could consider approaches to blend the subjective realities and spacetimes or employ spatiotemporal remapping of our bodies or senses. I am keen on exploring these topics with the approach of HCI research and the knowledge of philosophy.
「それぞれのローカルな環境は違う（PCとスマホとか、屋内と屋外とか、狭い場所と広い場所とか）けど、大体同じような環境を共有できる」という、ブルーモと真逆の着眼点で研究が行われているように思うyunolv3.icon
思ったけど、よくあるasymmetryの使い方は「別々の立場にいる人が同じ認識を共有するためのツール」だけど、Bluemoくんが面白いと思っているのはお互いが別の認識を持てるようにして、それでもなんとか会話が成立したり崩壊せず共同作業ができたりするようにするって感じなのかな？ritar.icon
この説明、とてもしっくりくるblu3mo.icon*2
この環境でどんなことが研究できる?
具体的には
空間のasymmetry
remapping
時間のasymmetry
visualのasymmetry
音のasymmetry
食事のasymmetry
これ、森羅万象で言えるな
すごい大きな主語で話すと、「人々が同じ客観的現実を共有している今の世界」と「各々が孤立した個別最適化された"理想"の現実を体験する経験機械/matrix的なディストピア」の二つの間を探っていると言える 前者の枠を超えることで生まれるリアリティの可能性はとても広いと思っている
ただ、それを追求した結果後者のディストピアに辿り着くのは違う
別に根拠/基礎付けがあるわけではないが、直感的に多くの人が納得するとは思う
その間のバランスを制御する技術こそ大事なのでは、という主張ができそう